Dynamic 1.58-bit
https://unsloth.ai/blog/deepseekr1-dynamic
ブログ
unsloth
による動的な1.58bit
量子化
手法、読む限りパラメータ毎の選択てきな4bit量子化や
GGUF
モデルの動的量子化手法の
iMatrix
、
K_M
モデルなど既存のGGUFでの量子化アーキテクチャも総動員して
DeepSeek-R1
を131GBという「逸般の誤家庭ならぎりぎり動く」ラインに落とし込んでいる。
既存の
BitNet
の欠点であった「モデルの一からの再学習が必要」という欠点をある種解決してますね…
morisoba65536.icon
https://huggingface.co/unsloth/DeepSeek-R1-GGUF
unsloth
/
DeepSeek-R1-GGUF